Attorney's Docket No.: 460-008437-US(PAR) 



PATIENT 



o 

.vo 

IN THE UNITED STATES PATENT AND TRADEMARK OFFICE ^o? 

01 



Express Mail No.: EL067101068US *H 
In re application of:. KNUUTILA et ah Group No.: 

Serial No.: 0 / 

Filed: Herewith Examiner: 
For: METHOD FOR TRANSFERRING IMAGE INFORMATION 



Commissioner of Patents and Trademarks 
Washington, D.C. 20231 



in era 

o 

■r-» j 



TRANSMITTAL OF CERTIFIED COPY 



Attached please find the certified copy of the foreign application from which priority is claimed for 
this case: 

Country : Finland 

Application Number : 980150 
Filing Date : 23 January 1998 

WARNING: "When a document that is required by statut^ to be' certified miW be^rfed, a copy, including a 
photocopy or facsimile transmission of the certification i^*Jpy acceptable." 37 CfcR \m(f) (emphasis added.) 




SIGNATURE OF ATTORNEY 

Reg. No.: 24,622 

Clarence A. Green 



Type or print name of attorney 

Tel. No.: (203)259-1800 

Perman & Green. LLP 
P.O. Address 

425 Post Road. Fairfield, CT 06430 



NOTE: The claim to priority need be in no special form and may be made by the attorney or agent if the foreign 
application is referred to in the oath or declaration as required by § 1 .63. 



(Transmittal of Certified Copy [5-4]) 



PATENTTI- JA RERISTERIHALLITUS 

NATIONAL BOARD OF PATENTS AND REGISTRATION 



Helsinki 



15 . 12 . 98 



ETUOI KEUSTOD I STUS 
PRIORITY DOCUMENT 



?0 




Haki ja 
Applicant 



Patenttihakemus nro 
Patent application no 

Tekemispaiva 
Filing date 

Kansainvalinen luokka 
International class 



NOKIA MOBILE PHONES LTD 
Espoo, 



980150 



23 . 01 . 9.8 



H 04N 



J.L-,\ 



.7 . 

/ i 



Keksinnon nimitys 
Title of invention 

"Menetelma kuvainf ormaation siirtamiseksi 1 



Taten^ todistetaan, etta oheiset asiakirjat ovat tarkkoja 
'M j al j ennoks ia patentti- ja rekisterihallitukselle alkuaan 
~ ~~^Sj*Tmet.ul s-t aSse lityksesta. , patenttivaatimuksis ta , tiivistelmasta 
ja;- p i i r u stuksi s t a . 

\ ^ <r y & \ 

■f This" is to certify that the annexed documents are true copies 

C '^qf At hV description, claims, abstract and drawings originally 
\ ) f iiedv with the' Finnish Patent Office. 



/■ -< v. 



/W/^ v\\ \\\\ c r 
(t // \\ ^A ■ ^ 





Ajaostopa&lliklcS / 



Maksu 
Fee 



300 , - mk 
300,- FIM 



Osoite : 
Address : 



Arkadiankatu 6 A Puhelin: 09 6939 500 

P.O.Box 1160 Telephone: + 358 9 6939 500 

FIN-00101 Helsinki, FINLAND 



Telefax: 09 6939 5204 

Telefax: + 358 9 6939 5204 



1 /9S 14:21 ; 03 2886262 -> PATREK AS I AKASPAL VE LU ; Sivu 3 

4' > „ % 



1 

Menetelma kuvainformaation siirtamiseksi 

Nyt esilla oleva keksinto kohdistuu oheisen patenttivaatimuksen 1 joh- 
danto-osan mukaiseen menetelmaan kuvainformaation siirtamiseksi, 
oheisen patenttivaatimuksen 7 johdanto-osan mukaiseen kameramodu- 
liin ja oheisen patenttivaatimuksen 1 3 johdanto-osan mukaiseen matka- 
viestimeen. 

Digitaalisissa kameroissa ja videokameroissa optinen kuva muunne- 
taan sahkoiseen muotoon kuva-anturilla, tyypillisesti CCD-anturilla 
(charge coupled device). Tallainen kuva-anturi koostuu useista valo- 
herkista kuvaelementeista, jotka on jarjestetty edullisesti matriisimuo- 
toon. Kuva-anturin kuvaelementtien maara vaikuttaa muodostettavan 
kuvan resbluutioon. Tyypillisesti kameroissa ja videokameroissa kaytet- 
tava kuva-anturi koostuu sadoistatuhansista kuvaelementeista, esi- 
merkiksi 640 x 480 = 307 200 kuvaelementtia. CCD-anturissa valo saa 
aikaan kuvaelementissa varauksen, jonka suuruuteen vaikuttaa mm. 
valon intensiteetti seka valon vaikutusaika kuvaelementissa, eli valo- 
tusaika. Kamerat on varustettu optiikalla, jolla kuva kohdistetaan kuva- 
anturin kuvaelementtien kohdalle. CCD-anturia kaytettaessa kuvaele- 
menttien varaukset puretaan ennen kuvan ottamista, jolloin ennalta 
maaratyn valotusajan kuluttua umpeen on kussakin kuvaelementissa 
siihen kohdistuneen valon maaraan verrannollinen varaus, joka voi- 
daan mitata. Valotuksen paatyttya esim. mekaanisella sulkimella este- 
taan valon paasy CCD-anturiin. Suljintoiminto voidaan toteuttaa myos 
sahkoisesti lukemalla kuva-anturi riittav§n nopeasti. 

CCD-anturissa kuvaelementit on ketjutettu kytkemalla ne sarjaan ja 
CCD-anturin ulostulo on yhdistetty sarjaankytkennan ensimmaiseen 
kuvaelementtiin, jolloin CCD-anturista kuvasignaali on luettavissa siir- 
tamalla varauksia kuvaelementista seuraavaan varauksensiirtosignaa- 
lin ajoittamana. Varaukset on luettavissa CCD-elementin ulostulosta, 
jolloin ensimmaisena luetaan ulostuloon kytketyn kuvaelementin va- 
raus. Varauksensiirtosignaali aikaansaa samassa yhteydessa muissa 
kuvaelementeissa varausten siirtymisen seuraavaan kuvaelementtiin, 
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eli ulostuloon kytketylle kuvaelementille siirtyy tahan liitetyn toisen ku- 
vaelementin varaus, toiseen kuvaelementtiin siirtyy vastaavasti sar- 
jaankytkennassa kolmantena olevan kuvaelementin varaus jne. Kuva- 
anturin kukin rivi voi muodostaa oman kuvaelementtiketjun. Kullekin 
5 kuvaelementtiketjulle on muodostettu oma ulostulo ketjun ensimmai- 
sesta kuvaelementista, kuten edella on esitetty. NSistd kuvaelementti- 
ketjujen ulostuloista varaukset voidaan siirtaa esim. siirtorekisteriin. 
Talla tavoin muodostetun CCD-kuva-anturin lukeminen edellyttaa va~ 
raustensiirtoja kuvaelementtiketjun kuvaelementtien maaraa vastaa- 

10 vasti. Yksittaisen kuvaelementin varauksen mittaaminen ei talldin on- 
nistu muuten kuin suorittamalla edella esitettya varausten siirtoa niin 
kauan, etta halutun kuvaelementin varaus on kuva-anturin ulostulossa. 
Tallaista kuva-anturia kaytettSessa on kuvan alinaytteistys hankalaa ja 
hidasta, koska kaytannossa kuvaelementtiketjun kaikkien kuvaelement- 

15 tien varaukset on siirrettava ulostuloon, vaikka osa kuvaelementeista 
jatettaisiin kasittelematta alinSytteistyksessa, 



Kuva-anturin muodostaman analogisen signaalin muuntaminen digitaa- 
liseksi voidaan suorittaa analogia/digitaalimuuntimella. Analo- 

20 gia/digitaalimuunnoksen muunnostarkkuus on tyypiliisesti 8 bittia, jolloin 
saadaan 256 valovoimakkuustasoa kustakin kuvaelementista. Ihmis- 
silman ominaisuudet huomioonottaen tama maara yleensa riittaa tarvit- 
tavan kuvanlaadun aikaansaamiseksL Analogia/digitaalimuuntimelta 
siirretaan tama muunnostulos rinnakkaismuodossa jatkokasittelyvai- 

25 heisiin, kuten tallennettavaksi kuvamuistiin tai videonauhalle. Tunnetun 
tekniikan mukaisissa digitaalisissa kameroissa ja videokameroissa 
kaytetaan nayttolaitteena analogista nayttolaitetta, kuten analogiseila 
liittymSlla varustettua LCD-nayttolaitetta, joten kuva siirretaan nayttolait- 
teelle analogisena ssgnaalina. 

30 

Edella mainittujen CCD-antureiden lisaksi on viime aikoina kehitetty ns. 
CMOS-kuva-antureita, joilla voidaan myos suorittaa kuvan valosahkoi- 
nen muunnos. Nama CMOS-kuva-anturit perustuvat paaosin kahteen 
eri toimintaperiaatteeseen: integroiviin ja ei-integroiviin kuva-antureihin. 
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Integroivissa kuva-antureissa kuvaelementin muodostamalla virralla va- 
rataan kuvaelementin yhteyteen muodostettua kondensaattoria. Kon- 
densaattorin varaus riippuu kuvaelementin muodostaman virran voi- 
makkuudesta ja varausajasta. Ennen kuvan muodostusta kunkin kon- 
5 densaattorin varaus puretaan, minka jalkeen kuvaelementin muodos- 
tama virta alkaa varata kondensaattoria, jolloin valotuksen paatyttya 
kondensaattoriin kertynyt varaus on verrannollinen kuvaelementtiin 
kohdistuneen valon maaraan. Integroivien CMOS-kuva-antureiden va- 
lotusajan asettaminen voidaan hoitaa esim. mekaanisella sulkimella, 

10 jolloin ohjauselektroniikka saadaan yksinkertaisemmaksi kunkin kuvae- 
lementin valotusajan ollessa oleellisesti sama, tai ajoittamalla konden- 
saattorin varauksen purkaminen ja kertyneen varauksen mittaaminen 
oleellisesti samaksi eri kuvaelementeille. Integroivassa kuva-anturissa 
kondensaattoriin kertyy varausta myos kuvaelementin ollessa pimeas- 

15 sa. Tama voi vaaristaa kuvaelementin antamaa kuvasignaalia. Taman 
korjaamiseksi on kehitetty ns. korreloitu kaksoismittausmenetelma 
(CDS, Correlated Double Sampling), jossa kuvaelementin kondensaat- 
torin varaus mitataan sopivimmin ennen valotusta suoritetun varauksen 
notlauksen jalkeen ja tailennetaan tama arvo kullekin kuvaelementille. 

20 Kondensaattorin varaus mitataan uudestaan valotusajan kuluttua um- 
peen ja tasta mittausarvosta vahennetaan tallennettu arvo. Erotus 
vastaa paremmin todellista valon maaraan verrannollista kuvasignaalia 
kuin yhdella mittaukselia saatava kuvasignaali. Edella esitettyjen vara- 
usten mittauksen yhteydessa mittausarvolle suoritetaan analo- 

25 gia/digitaalimuunnos, jolloin mittaustulos voidaan tallentaa digitaalises- 
sa muodossa. 

Ei-integroivissa CMOS-kuva-antureissa mitataan kunkin kuvaelementin 
muodostama virta, joka on verrannollinen kuvaelementtiin silla hetkeila 

30 kohdistuvan valon voimakkuuteen. Taman tyyppisessa anturissa on 
etuna mm. se, etta kukin kuvaelementti on erikseen osoitettavissa ja 
virta mitattavissa muista kuvaelementeista ja valotusajoista riippumatta. 
Integroivissa kuva-antureissa tallainen, ns. satunnaissaanti (random 
access) onnistuu helpommin, jos kaytetaan mekaanista suljinta saman 

35 valotusajan maarittamiseksi eri kuvaelementeille. 
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CMOS-kuva-anturit voidaan jakaa myos passiivisiin ja aktiivisiin kuva- 
antureihin. Naiden paaasialiinen ero on siina, etta aktiivisissa kuva-an- 
tureissa on kuvaelementin yhteyteen muodostettu myos vahvistin. Ta- 
ma vahentaa integroivan kuva-anturin kondensaattorien varauksen le- 
5 viamista viereisiin kondensaattoreihin varauksen mittausvaiheessa, mi- 
ka passiivisissa kuva-antureissa voi vaaristaa mittaustuloksia. 

Riippumatta siita, minka tyyppisesta kuva-anturista on kyse, kuvaele- 
menttien digitoidut arvot siirretaan jatkokasittelyyn tyypillisesti analogi- 

10 sessa muodossa kuvaelementti kerrallaan. Talloin kuva-alue pyyhkais- 
taan esimerkiksi riveittain aloittaen ensimmaisen rivin ensimmaisesta 
kuvaelementista. Analoginen kuvasignaali voidaan johtaa esim. analo- 
giselle nSyttolaitteelle naytettavaksi. Jatkokasittelyvaiheessa analogi- 
nen kuvasignaali voidaan muuntaa digitaaliseksi esim. kuvamuistiin 

15 tallennusla varten, jolloin kunkin kuvaelementin analogiasignaalista 
muodostettu digitaaliarvo tallennetaan kyseista kuvaelementtia vastaa- 
vaan muistipaikkaan. Kuvasignaalille voidaan tarvittaessa suorittaa 
esim. suodatusta ja kohinanpoistoa- 

20 Nykyisin tunnetuista kuva-anturin ja sen ohjauslogiikan kasittavista ka- 
meramoduleista kuvainformaatio on luettavissa joko analogisessa 
muodossa, jolloin signaalille on jatkokasittelyvaiheissa suoritettava 
analogia/digitaalimuunnos, tai valmiiksi digitaalimuotoon muunnettuna 
rinnakkaismuodossa. Lisaksi kuvainformaation synkronointi on suori- 

25 tettu kameramodulin ohjauslogiikalla ennalta maaratyssa kuvaformaa- 
tissa, jolloin tyypillisesti kustakin kuvasta on siirrettava vakioinformaa- 
tiomaara. Yhden kuvan informaatiomaarSan vaikuttaa kuva-anturin ku- 
vaelementtien maara eli resoluutio seka kustakin kuvaelementistS 
muodostettavan analogia/digitaalimuunnoksen tarkkuus. Esimerkiksi 

30 kuva-anturi, joka koostuu 480 vaakarivista ja 640 pystyrivista ja kasittaa 
siis 307 200 kuvaelementtia, ja jokaisesta kuvaelementista suoritetaan 
8-bittinen analogia/digitaalimuunnos, on yhden kuvan kokonaisinfor- 
maatio 2 457 600 bittia. 

35 Liitettaessa tallaista tunnetun tekniikan mukaista kameramodulia kan- 
nettavaan elektroniikkalaitteeseen, kuten matkaviestimeen, ongelmana 



1/96 14:23; 03,2666262 -> PATREK ASIAKASPALVELU ; SiVU T 



5 



on mm. rinnakkaisvaylaratkaisun vaatima suurempi tilantarve verrat- 
tuna sarjavaylan kayttamiseen kuvainformaation siirrossa. Tyypillisessa 
sovelluksessa kaytetaan 8-bittista tietoa kuvapistetta kohden mustaval- 
kokuvassa, ja 24-bittista tietoa yhta varikuvan kuvapistetta kohden jol- 
ioin tarvitaan vahintaan 8 rinnakkaista siirtolinjaa. Erillista kameramo- 
dulia kaytettaessa rinnakkaisvaylaan liitettavassa kytkentakaapelissa 
tuhsi olla johtimet kullekin rinnakkaisvaylan linjalle ja lisaksi nollajohdin 
(Ground) ja mahdollisesti viela tehonsyottojohdin kameramodulille, jol- 
loin kytkentajohtimesta tulee huomattavasti kalliimpi ja kankeampi 
kayttaa kuin vahemman johtimia sisaltava sarjavaylan kytkentakaapeli. 
Lisaksi rinnakkaisvaylassa signaaiinsiirtolinjojen mahdolliset kapasitiivi- 
set kytkennat voivat aiheuttaa signaalien ylikuulumista viereisiin johti- 
miin. Ylikuuluminen helposti voimistuu johtimien pituuden kasvaessa. 
Lisaksi rinnakkainen tiedonsiirto monimutkaistaa kameramoduliin liitet- 
tavan laitteen rakennetta ja nostaa valmistuskustannuksia. 

Sarjavaylan kaytto nykyisin tunnetun tekniikan mukaisissa ratkaisuissa 
edellyttaisi tyypillisesti tiedonsilrtonopeuden kasvattamista vahintaan 8- 
kertalseksi verrattuna rinnakkaismuotoiseen tiedonsiirtoon, mikali ta- 
voitteena on saman informaatiomaaran siirtaminen samassa ajassa. 
Tama ei kuitenkaan aina ole mahdollista, koska nopeat digitaaliset sig- 
naalit ovat hyvin jyrkkareunaisia eli signaalin lasku- ja nousunopeus on 
hyvin suuri, jolloin ne aiheuttavat helposti hairioita elektroniikkalaitteen 
toimintaan seka muihin elektroniikkalaitteisiin. Lisaksi nopeita muutok- 
sia sisaltaviin signaaleihin aiheutuu helposti vaaristymia, jotka voivat 
vaikuttaa tiedonsiirron luotettavuuteen. 

Eraana nykyisten kameramodulien epakohtana on niiden joustamatto- 
muus: ne antavat maaramuotoista kuvaa kameramodulin itsensa maa- 
raamassa tahdissa. Tunnetun tekniikan mukaisten kameramoduieiden 
antamaan informaatioon ei pysty helposti vaikuttamaan, jolloin kuvasig- 
naalia vastaanottavassa laitteessa voidaan joutua tekemaan turhia 
toimintoja erityisesti silloin, kun vastaanottavaan laitteeseen tulevan 
kuvainformaation maara on suurempi kuin mita vastaanottavassa lait- 
teessa pystytaan hyodyntamaan, jolloin taman hyodyntamattdman ku- 
vainformaation lahettaminen kuluttaa tarpeettomasti tehoa. Joissakin 
tallaisissa kameramoduleissa on mahdollisuus saataa sita, kuinka usein 



1/98 14:23; 03 2888262 -> PATREK AS I AKASP AL VE LU; Sivu 8 



6 ' ~ ' 

uusi kuva siirretaan kameramodulista. Kunkin kuvan informaatiomaara 
ei kuitenkaan muutu. Jos vastaanottava laite ei asetetulla paivitystihey- 
della pysty kasittelemaan kaikkia kuvia, vaan ohjaa kameramodulia la- 
hettamaan kuvia hitaammassa tahdissa, voi paivitystiheys laskea niin 
alhaiseksi, etta se on havaittavissa kuvassa esim. nykimisena. 

Useissa digitaalisissa kameroissa kaytetaan nykyisin LCD-nayttdlaitetta 
kuvainformaation esittamiseen. Tata nayttdlaitetta kaytetaan seka etsi- 
mena kameran suuntaamiseksi haluttuun kuvauskohteeseen seka ote- 
tun kuvan tarkastelemiseen, jolloin tarvittaessa voidaan kuva ottaa uu- 
destaan. Tallaiset nayttolaitteet ovat tyypillisesti analogisia, joten kuva- 
signaali on analogisessa muodossa. Etsimena kaytettaessa on naytto- 
laitteella esitettavaa kuvaa paivitettava riittavan nopeasti. Suuri siirret- 
tavan kuvainformaation maara ja rajallinen siirtonopeus rajoittavat sita, 
kuinka usein kuva voidaan paivittaa. Talloin seurauksena on nayttolait- 
teella esitettavan kuvan nykiminen erityisesti kameraa liikuteltaessa tai 
kuvauskohteen liikkuessa. Myos useissa videokameroissa kaytetaan 
nykyisin analogisia LCD-naytt6laitetta etsimena, jolloin ongelmat ovat 
samantyyppiset kuvauksen aikana. 

Nyt esilla olevan keksinnon eraana tarkoituksena on aikaansaada pa- 
rannettu menetelma kuvainformaation siirtamiseksi esim. elektroniikka- 
laitteelle ja kameramoduli, josta kuvainformaatio voidaan siirtaa sarja- 
muodossa elektroniikkalaitteelle, joka myos voi ohjata kuvan siirtoa. Li- 
saksi kuvaformaattia voidaan vaihdella tarpeen mukaan. Keksinnon 
mukaiselle menetelmalle on tunnusomaista se, mita on esitetty oheisen 
patenttivaatimuksen 1 tunnusmerkkiosassa. Nyt esiila olevan keksinnon 
mukaiselle kameramodulille on tunnusomaista se, mita on esitetty ohei- 
sen patenttivaatimuksen 7 tunnusmerkkiosassa. Nyt esilla olevan kek- 
sinnon mukaiselle matkaviestimelle on viela tunnusomaista se, mita on 
esitetty oheisen patenttivaatimuksen 13 tunnusmerkkiosassa. KeksintS 
perustuu siihen ajatukseen, etta kuvainformaatio siirretaan sarjamuo- 
dossa elektroniikkalaitteelle sen maaraamassa tahdissa. Lisaksi siirret- 
tavan kuvainformaation maaraa voidaan saataa, jolloin esim. etsin-toi- 
minnossa voidaan vahemmalla kuvainformaatiolla esittaa kuvia riittavan 
nopeasti, ettei hairitsevaa nykimista nay nayttolaitteella esitettavassa 
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kuvassa. Lopullista kuvaa otettaessa kuvainformaation maara noste- 
taan haluttuun tasoon. 

Nyt esilla olevalla keksinnolla saavutetaan merkittavia etuja tunnettuun 
5 tekniikkaan nahden. Keksinnon mukaisella menetelmalla toteutetussa 
kamerassa voidaan etsin-toiminto ja videokuvaus toteuttaa siten, etta 
kuva seuraa riittavan nopeasti kameran tai kuvauskohteen liikkeita. 
Yksittaiskuvauksissa lopullinen kuva voidaan tasta huolimatta ottaa 
yhta suurella resoluutiolla kuin tunnetun tekniikan mukaisissa kame- 

10 roissa on mahdollista. Videokuvauksissa paastaan normaalitilanteissa 
riittavaan kuvanlaatuun. Nyt esilla olevan keksinnon mukaista kamera- 
modulia kaytettaessa on elektroniikkalaitteen koko ja tehonkulutus 
mahdollista saada pienemmaksl kuin tunnetun tekniikan mukaisia ka- 
meramoduleita kaytettaessa. Taman keksinnon mukaiset kuvainfor- 

15 maation siirtoratkaisut eivat myoskaan edellyta signaalien siirtonopeu- 
den kasvattamista, joten hairioiden maara voidaan pitaa merkittavasti 
pienempaina kuin tunnetun tekniikan mukaisia ratkaisuja kaytettaessa 
on mahdollista kuvien siirtonopeuden ollessa sama. 

20 Nyt esilla olevalla keksinnolla saavutetaan viela se etu, etta kamera- 
modulin ja elektroniikkalaitteen valinen tiedonsiirtovayla saadaan yksin- 
kertaisemmaksi ja kameramodulin liittamisessa tarvittavat liitantavali- 
neet yksinkertaisemmiksi elektroniikkalaitteessa. 

25 Keksintoa selostetaan seuraavassa tarkemmin viitaten samalla oheisiin 
piirustuksiin, joissa 

kuva 1a esittaa keksinnon eraan edullisen suoritusmuodon mukaisen 
kameramodulin toiminnallisia lohkoja, 

30 

kuva 1b esittaa keksinnon eraan edullisen suoritusmuodon mukaista 
kameramodulia pelkistettyna lohkokaaviona, 

kuva 2a esittaa keksinnon eraan edullisen suoritusmuodon mukaisen 
35 kameramodulin liittamista erillisena laitteena matkaviesti- 

meen, ja 
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kuva 2b esittaa keksinnSn eraan edullisen suoritusmuodon mukaisen 
kameramodulin integroimista osaksi matkaviestinta. 

Kuvassa 1a on esitetty eraan edullisen suoritusmuodon mukaisen ka- 
5 meramodulin 1 toiminnallisia lohkoja pelkistetysti. Kameramodulissa 1 
on kuvan valos&hkoista muunnosta varten kuva-anturi 2, joka tassa 
esimerkissa on ei-integroiva CMOS-kuva-anturi, mutta tata keksintoa 
voidaan soveltaa myos muuntyyppisiin kuva-antureihin, kuten integroi- 
viin CMOS-kuva-antureihin seka CCD-kuva-antureihin. Kuva-anturin 2 

10 resoluutio on esimerkiksi 640 x 480, mutta resoluutiolla ei sinansa ole 
merkitysta taman keksinnon soveltamisen kannalta. Selvyyden vuoksi 
kaikkia kuvaelementteja ei ole esitetty kuvissa, vaan esimerkinomaises- 
ti ensimmaisen rivin ensimmainen P1,1, toinen P2.1 ja viimeinen Pm,1 
kuvaelementti, toisen rivin ensimmainen kuvaelementti P1.2 seka vii- 

15 meisen rivin viimeinen kuvaelementti Pm,n. Rivivalitsimella 3 valitaan 
kulloinkin tutkittava kuvaelementtirivi, ja sarakevalitsimella 4 valitaan 
rivivalitsimella 3 valitun rivin haluttu kuvaelementti P1.1 — Pm.n, jonka 
muodostama virta johdetaan sarakevalitsimen 4 ulostuloon 5. Sarake- 
valitsimen ulostulossa 5 on talloin valitun kuvaelementin P1,1 — Pm,n 

20 muodostama virta, joka on verrannollinen mainittuun kuvaelementtiin 
P1.1 — Pm.n kohdistuvan valon voimakkuuteen lukuhetkella. Integroi- 
vaa kuva-anturia tai CCD-kuva-anturia kaytettaessa varaus on verran- 
nollinen kuvaelementtiin P1.1 — Pm.n kohdistuvan valon intensiteettiin 
ja valotusaikaan, jolloin myos kunkin kuvaelementin P1.1 — Pm.n 

25 varauksen purkaminen edellyttaa tata varten jarjestettavat varauksen 
purkamisvalineet. Kuten jo aikaisemmin tassa selityksessa on todettu, 
yksittaisten kuvaelementtien P1 ,1 — Pm.n osoittaminen ei mydskaan ole 
helposti toteutettavissa CCD-kuva-antureissa ja integroivissa CMOS- 
kuva-antureissa, mutta muilta osin keksinnon mukaisen kameramodulin 

30 1 toiminta on oleellisesti samanlaista kuin ei-integroivaa kuva-anturia 2 
kaytettaessa. 

Sarakevaiitsimen ulostulo 5 on kytketty naytteenotto- ja pitopiiriin 6 
(sample and hold). Naytteenotto- ja pitopiirin 6 lahtojannite asetetaan 
35 naytteenottohetkellS oleellisesti samaksi kuin naytteenotto- ja pitopiirin 
6 tulojannite on. Tama lahtojannite pysyy oleellisesti vakiona seuraa- 
vaan naytteenottohetkeen asti tai naytteenotto- ja pitopiirin 6 pitoajan 
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verran. Talta naytteenotto- ja pitopiirilla 6 voidaan vakioida analogia/di- 
gitaalimuuntimelle 7 johdettava mittausjannite analogia/digitaalimuun- 
nokseen tarvittavaksi ajaksi, jolloin analogia/digitaalimuunnos on 
mahdollisimman luotettava. Analogia/digitaalimuuntimen 7 muodostama 
5 digitaalinen muunnostulos johdetaan tarvittaessa esikasittelylohkoon 8, 
jossa kuvainformaatiolle voidaan suoritlaa joitakin muunnos- ja/tai 
suodatustoimenpiteita, esimerkiksi varikuvaformaatin muunnos, 
kuvainformaation muunnos erilaisia nayttaiaitteita varten, ja kuvan 
alinaytteistys. 

10 

Mikali kuva-anturi 2 on tarkoitettu varikuvien otlamiseen, voi kukin ku- 
vaelementti P1 ,1— Pm.n koostua kolmesta osaelementista eri varikom- 
ponentteja varten. Tyypillisesti kaytetaSn ns. RGB-kuvaformaattia (red, 
green, blue), jolloin kullekin varikomponentille voidaan suorittaa oma 
15 valosahkfcinen muunnos. Tama on aikaansaatavissa esimerkiksi siten, 
etta punaista varikomponenttia mittaavan kuvaelementin eteen on jar- 
jestetty punainen suodatin, joka estaa oleelllsesti muiden kuin punaisel- 
la aallonpituudella olevan valon paasyn kuvaelementtiin, vastaavasti 
vihreaa varikomponenttia mittaavan kuvaelementin edessa on vihrea 
20 suodatin ja sinista varikomponenttia mittaavan kuvaelementin edessa 
sininen suodatin. Naista kolmesta kuvaelementista koostuu lopullisessa 
kuvassa esitettava yksi kuvapiste. Nama eri varikomponentteja 
vastaavat kuvaelementit voivat olla sijoitettuina vierekkain esimerkiksi 
samaan rlviin tai oleellisesti tasakylkisen kolmion muotoon. Yhden 
25 kuvapisteen maarittamiseen tarvitaan talloin kolmen kuvaelementin 
muodostaman signaalin tutkiminen. Tama voidaan tehda esim. siten, 
etta kameramodulissa 1 suoritetaan kullekin varikomponentille 
analogia/digitaalimuunnos ajallisesti perakkain kayttamalia samaa 
naytteenotto- ja pitopiiria 6 sek§ analogia/digitaalimuunninta 7. Toisena 
30 vaihtoehtona on se, etta kullekin varikomponentille jarjestetaan omat 
naytteenotto- ja pitopiirit seka anaiogia/digitaalimuuntimet. Talloin on 
jokaista varikomponenttia varten jarjestetty viela valitsin, edullisesti sa- 
rakevalitsin 4. 
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On kehitetty myos sellaisia varikuva-antureita, joissa kuvaelementtien 
maarS on sama kuin yksivarisessa kuva-anturissa. Tama on aikaan- 
saatu esim. siten, etta joka toinen kuvaelementti on vihreaa valoa mit- 
taava kuvaelementti, joka neljas on punaista ja joka neljas sinista valoa 
mittaava kuvaelementti. Tama perustuu ihmissilman ominaisuuksiin, 
mm. herkkyydet eri varien aistimiseen ovat erilaiset. Vihrean kuvaele- 
mentin antamaa informaatiota voidaan k&yttaa lahes sellaisenaan lumi- 
nanssi-informaationa. Lopullisessa kuvasignaalissa kaytetaan esim. 
nelja kuvaelementin ryhmaa yhden kuvapisteen kuvasignaalin muodos- 
tamiseksi. Tarkemmin tallaisia menetelmia on esitetty mm. patenteissa 
US-4 ( 642;678 ja US-4,630,307. 

Variformaatin muunnos esimerkiksi RGB-variformaatista ns. YCbCr- 
formaattiin voidaan suorittaa laskennallisesti seuraavalla kaa valla: 
(1a) Y = 0,299 R + 0,587 G + 0,114 B 

(1 b) Cb = —0,1 68 R — 0,331 G + 0,5 B 

(1 c) Cr = 0,5 R — 0,41 87 G —O.081 3 B 

Luminanssikomponentti Y esittaa kuvan harmaasavyjS, ja tata voidaan 
kayttaS mm. mustavalkokuvan esittamisessa ja varikuvan esittarnisessa 
mustavalkokuvana. Krominanssikomponentteja on kaksi: Cb ja Cr, jotka 
sisSltavat kuvan vari-inf ormaation . 

Esikasittelylohkolta 8 kuvainformaatio siirretaan edullisesti kameramo- 
dulin muistiin 18. Muistista 18 kuvainformaatio voidaan siirtaa rinnak- 
kais/sarjamuuntimelle 9, jossa suoritetaan kunkin kuvaelementin P1 ,1 — 
Pm,n digltoidun kuvainformaation muunnos sarjamuotoon. Kuvainfor- 
maatio on talloin luettavissa sarjamuodossa sarjaliityntavaylalta 10. 
Taman sarjavayl&n tiedonsiirtoformaattina voidaan kayttaa sinansS 
tunnettuja sarjamuotoisia tiedonsiirtoformaatteja, esim. si ten, etta 8 bitin 
kuvainformaatio kehystetSan alku- ja loppubiteilla. Kuvainformaation 
siirtamineh suoritetaan edullisesti elektroniikkalaitteen ohjaamana, ku- 
ten myohemmin t&ssa selityksessa on esitetty. 
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Edella esitettyjen toiminnallisten lohkojen ohjaamiseksi on kameramo- 
duliin 1 j&rjestetty viela ohjauslohko 1 1 , joka tassa edullisessa suori- 
tusmuodossa kasittaa mm, nelja ohjausrekisteria 12 — 15 ja ajoitusloh- 
kon 33. Naytteenottorekisteri 12 mSarittaa mm. sen, milla hetkella nSyt- 
teenotto- ja pitopiiri 6 ottaa nSytteen sarakevalitsimen ulostulosta 5. 
Laaturekisteri 13 ma&rittaa mm. analogia/digitaalimuunnokselle suori- 
tettavan muunnoksen tarkkuuden. Esikasittelyrekisteri 14 maarittaa 
mm. sen, suoritetaanko esikasittelylohkossa 8 kuvaformaatin muunnos, 
ja myos sen, alinaytteistetaankS digitaalisessa muodossa olevaa kuva- 
informaatiota. Rinnakkais/sarjamuuntimelle 9 on viela jarjestetty rinnak- 
kais/sarjamuunnosrekisteri 15 ( joka ohjaa mm. tiedonsitrtoa sarjavaylal- 
IS 10. Ohjauslohko huolehtii myos kuvan ottamisessa tarvittavien toi- 
menpiteiden, kuten kuvaelementtien P1,1 — Pm,n varausten nollauksen 
ja kuvaelementtien P1 ,1 — Pm.n varausten mittauksen ajoituksesta. 

Kameramodulin 1 ohjauslohkoon 11 on johdettu ohjaussarjavayla 16 
mm. ohjauskomentojen ja parametrien valittamiseksi ohjauslohkoon 1 1 . 
Ohjauslohko 11 kasittaa viela vSlineet (ei esitetty) rivivalitsimen 3 seka 
sarakevalitsimen 4 ohjaamiseksi. 

Kuvassa 1b on esitetty keksinnon eraan edullisen suoritusmuodon mu- 
kaisen kameramodulin 1 peikistetty lohkokaavio. Kuvan 1b mukaisessa 
kameramodulissa 1 on kuvan 1a toiminnoista mm. esikasittelylohko 8, 
rinnakkais/sarjamuunnin 9 seka ohjauslohko 11 toteutettu digitaalisessa 
signaalinkasittely-yksikossa 17 (DSP, Digital Signal Processing unit). 
Tassa kuvassa 1b on kuva-anturi 2 seka rivivalitsin 3 ja sarakevalitsin 4 
esitetty yhtena lohkona 2'. Naytteenotto- ja pitopiiri 6 seka analo- 
gia/digitaalimuunnin 7 on vastaavasti esitetty yhtena lohkona 7\ Sig- 
naalinkasittely-yksikkoon 17 on liitetty muistia 18, edullisesti ainakin lu- 
ku/kirjoitusmuistia RAM (random access memory) mm. valiaikaiseen 
tiedontallennukseen. Lisaksi muisti 18 kasittaa digitaaiisen signaalin- 
kasittely-yksikon 17 toiminnan ohjaamisessa tarvittavat ohjelmakomen- 
not tai vastaavat. Muisti 18 on liitetty muistiliityntalohkolla 19 digitaaii- 
sen signaalinkasittely-yksikon systeemivaylaan 20. SysteemivSyia 20 
kasittaa mm. datavaylan, osoitevaylan ja ohjausvaylan, joita ei kuiten- 
kaan ole esitetty erillisina, ja naiden vaylien kaytannSn toteutus on alan 
asiantuntijan tuntemaa tekniikkaa. 



Saapunut: 23/ 1 /98 14:26; 



03 2886262 -> PATREK ASIAKASPALVELU; SzLvu 1-4 



12 



Digitaalinen signaalinkasittely-yksikko 17 kasittaa viela sarjaliityntapiirin 
21. Se kasittaa mm. sarjavaylalle 10 lahetettavan informaation rinnak- 
kais/sarjamuunnoslohkon seka ohjaussarjavaylalta 16 tulevan sarja- 
5 muotoisen ohjausinformaation muuntamisen rinnakkaismuotoon sys- 
teemivaylalle 20 siirtamiseksi. 

Digitaalisen signaalinkasittely-yksikon 17 signaalinkasittely- ja ohjaus- 
lohko 22 suorittaa mm. kuva-anturin 2 ohjaamisen kuvaelementtien 

10 P1 ,1 — Pm.n kuvainformaation lukemiseksi. Tama suoritetaan edullisesti 
siten, etta rivivalitsimen valintalinjoihin, jotka kuvassa 1a on esitetty 
yhtena linjana ja merkitty viitenumeroila RSEL, asetetaan haluttua ku- 
va-anturin rivia vastaava binaariluku, ensimmaista rivia valittaessa luku 
0, toista rwia valittaessa luku 1 jne. Lisaksi rivivalitsimelle on johdettu 

15 lahdon sallintalinja OE1, jolla valintalinjoihin asetettua binaarilukua 
vastaavan rivivalintalinjan tila vaihdetaan toiseen loogiseen tilaan, 
esim. loogiseen 0-tilaan. TallSin looginen 1 -tila vastaa sita tilannetta, 
jossa rivia ei ole valittu. Tama looginen 0-tila aikaansaa ao. riviin kytket- 
tyjen kuvaelementtien ensimmaisen liitantarajapinnan (-johtimen) 

20 asettumisen lahelle 0 V:ia. Vastaavasti sarakevalitsimen valintalinjoihin 
SSEL asetetaan kulloinkin tutkittavaa saraketta vastaava binaariluku. 
Tama aikaansaa sarakevalitsimen vastaavan kuva-anturin sarakelin- 
joihin yhdistetyn tulolinjan kytkeytymisen sarakevalitsimen lahtolinjaan 
5, jolloin taman linjan 5 signaali vastaa valitun kuvaelementin signaalia, 

25 joka voidaan muuntaa digitaaliseksi. 

Kuvassa 2a on esitetty keksinnon edullisen suoritusmuodon mukaisen 
kameramodulin 1 liittaminen erillisena modulina elektroniikkalaittee- 
seen, edullisesti matkaviestimeen 23 ulkoisen liitantavaylan 24 avulla. 

30 Ulkoinen liitantavayla 24 kasittaa sarjavaylan 10 seka ohjaussarjavay- 
lan 16, jolloin ohjausinformaatiota voidaan siirtaa matkaviestimesta 23 
kameramoduliin 1 ja vastaavasti kuvainformaatiota voidaan siirtaa ka- 
meramodulista 1 matkaviestimeen 23. Matkaviestimessa 23 on mm. 
ohjausyksikko 25, joka kasittaa edullisesti mikroprosessorin CPU tai 

35 vastaavan suorittirnen, muistia 26 seka sarjaliityntalohko 31 (SIO, Serial 
Input/Output) ulkoisen liitantavaylan 24 liittamiseksi matkaviestimeen 
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23. Sarjaliftyntalohkossa 31 suoritetaan mm. sarja/rinnakkaismuunnok- 
set utkoisen sarjavaylan 24 ja matkaviestimen systeemivaylan 32 va- 
lilla. Muistia 26 voidaan kayttaa mm. kameramodulista 1 luetun kuvain- 
formaation tallentamiseen, jolloin kuva voidaan esittaa esimerkiksi 
nayttolaitteella 27. Taman erillisen kameramodulin 1 etuna on mm. se, 
etta samaa kameramodulia 1 voidaan kayttaa eri elektroniikkalaitteiden 
yhteydessa, joissa on tarvittavat liitantavalineet ulkoisen liitantavaylan 
24 liittamiseksi elektroniikkalaitteeseen. Ulkoinen liitantavayla 24 voi 
olla muodostettu johtimista tai se voidaan toteuttaa esim. infrapunatie- 
donsiirtovalineilla 

Kuvassa 2b on esitetty ratkaisu, jossa keksinnon mukainen kameramo- 
duli 1 on liitetty osaksi matkaviestinta 23. Tall&in kameramodulin 1 ja 
matkaviestimen ohjauslohkon 25 valille on muodostettu sisainen sarja- 
i liitantavayla 28 ohjaus- ja kuvainformaation siirtamiseksi kameramodu- 
lin 1 ja matkaviestimen ohjauslohkon 25 valilla. Sisainen sarjavayla 28 
on liitetty matkaviestimen sarjaliityntalohkoon 31, jossa suoritetaan mm. 
sarja/rinnakkaismuunnokset sarjavaylan 28 ja matkaviestimen systee- 
mivaylan^ valilla. Talla integroidulla ratkaisulla on mahdollista aikaan- 
20 saada suhteellisen pienikokoinen matkaviestin 23 f jossa on lisaksi ka- 
meratoiminto kaytettavissa. Taman etuna on mm. se, ettei tarvita eril- 
lista ulkolsta liitantavaylaa kameramodulin 1 ja matkaviestimen ohjaus- 
lohkon 25 valilla ja se, etta tallaisen integroidun laitteen kaytto on mo- 
nissa tilanteissa helpompaa kuin kahden erillisen laitteen kaytto. 

25 . 

Seuraavaksi selostetaan keksinnon mukaisen menetelman toimintaa. 
Oletetaan, etta kameramoduli 1 on tarkoitettu yksittaiskuvien ottoon, 
mika vastaa normaalia digitaalista valokuvauskameraa. ja etta kuva- 
anturina 2 on ei-integroiva CMOS-kuva-anturi. Valmistauduttaessa ku- 

30 van ottoon asetetaan kameramoduli 1 etsintoimintoon, jolloin kamera- 
modulin 1 kuvainformaatiota esitetaan nayttolaitteella 27, jolloin kayttaja 
voi suunnata kameramodulin 1 haluamaansa kuvauskohteeseen ja 
suorittaa tarvittaessa rajaustoimenpiteita. Kameramodulin 1 optiikka voi 
sinansa tunnetusti kasittaa erilaisia objektiiveja, vaihdettavia objektii- 

35 veja ja zoom-objektiiveja, mutta naita ei tassa selityksessa kasitella tar- 
kemmin. Kayttaja asettaa kameramodulin 1 etsintoimintoon edullisesti 
matkaviestimen 23 nappaimistosta 29. Matkaviestimen ohjauslohko 25 
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tulkitsee nappainpainalluksen ja aloittaa kameramodulin 1 toiminta- 
moodin asettamisen. Toimintamoodin asettamiseksi lahettaa matka- 
viestimen ohjauslohko 25 tarvittavat ohjauskomennot ja parametrit ka- 
meramodulin 1 ohjauslohkoon 11. Nama ohjauskomennot sisaltavat 
5 mm. rekistereiden asettamisen maariteltyjen parametrien mukaan. Esi- 
merkiksi naytteenottorekisteriin 12 asetetaan kasky kuvan ottamiseksi. 
Laaturekisteriin 13 asetetaan kullekin naytteelle suoritettavan analo- 
gia/digitaalimuunnoksen muunnostarkkuus, joka voi vaihdella edullisesti 
1 — 8 bittia kaytanndn sovelluksissa. Joissakin tapauksissa saattaa olla 

10 tarpeen kayttaa my6s suurempaa muunnostarkkuutta. Etsintoiminnossa 
muunnostarkkuudeksi asetetaan pienempi kuin varsinaisessa kuvaus- 
toiminnosisa, esimerkiksi 4 bittia 8bitin sijasta. Taman seurauksena 
analogia/digitaalimuunnos muuntaa naytteen 4 eniten merkitsevan bitin 
(MSB, most significant bit) tarkkuudella, jolloin myos muunnos on no- 

15 peampaa kuin kaytettaessa suurempaa muunnostarkkuutta. Perakkais- 
approksirhaatioon perustuvassa muuntimessa muunnostarkkuuden 
puoliintuminen tarkoittaa muunnosnopeuden kaksinkertaistumista. Nel- 
jalla bitilla on mahdollista esittaa 16eri arvoa, mutta etsintoiminnossa 
tama on riittava tarkkuus. Muunnosnopeuden lisaantyminen merkitsee 

20 vastaavasti sita, etta samassa ajassa voidaan siirtaa useamman kuva- 
elementin P1,1 — Pm.n kuvainformaatio, jolloin lopputuloksena voidaan 
saada nopeammin paivittyva kuva matkaviestimen nayttolaitteella 27. 

Esikasittelyrekisteriin 14 voidaan viela asettaa haluttaessa tieto siita, 
25 suoritetaanko kuvainformaatiolle muunnos, esimerkiksi variformaatin 
muunnos. Esikasittelyrekisteriin 14 voidaan viela asettaa tieto alinayt- 
teistyksesta, mika tarkoittaa esim. sita, etta kaikkia analo- 
gia/digitaaiimuunnostuloksia ei laheteta eteenpain, vaan esimerkiksi jo- 
ka toinen, tai muunnetaan vain joka toisen kuvaelementin arvo, mika 
30 myos lisaa kuvainformaation paivitysnopeutta. Alinaytteistys pienentaa 
kuvan resoluutiota, mutta tarvittaessa voidaan alinaytteistetysta ku- 
vasta muodostaa vastaanottavassa laitteessa alkuperaista resoluutiota 
vastaava kuva esim. suorittamalla interpolointi vastaanotetun 
kuvainformaation perusteella. 

35 
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Matkaviestimen ohjauslohkosta 25 valitetaSn kameramodulin ohjaus- 
lohkoon 1 1 vieia edullisesti tieto siita, koska kuva halutaan ottaa. Mat- 
kaviestin 23 voi lahettaa taman komennon esimerkiksi sen jalkeen kun 
edellinen kuva on kasitelty. Tama soveltuu erityisesti ei-integroiviin ku- 
5 va-antureihin. Kasky kuvan ottamiseksi voidaan lahettaa myos enna- 
kolta, jos kuvan ottaminen vaatii pidemman valotusajan, esim. integroi- 
vaa anturia kaytettaessa. Tailoin matkaviestin 23 ehtii kSsitella kuvan 
ottamiskaiskyn lahettamisen jalkeen silla hetkella kasiteltavSna olevan 
kuvan, ennen kuin kameramoduli 1 saa uuden kuvan otettua ja valty- 
10 taftn tarpeettomilta kuvan valmistumisen odotuksilta. 

Sen jalkeen kun kameramodulissa on vastaanotettu kasky kuvan otta- 
miseksi, ohjauslohko 11 tulkitsee kaskyn ja aloittaa kuvan ottamisen. 
Ohjauslohko 11 muodostaa rivivalitsimelle 3 ja sarakevalitsimelle 4 oh- 

15 jaussignaalit kuvaelementtien P1,1 — Pm,n valitsemiseksi sopivimmin 
siten, etta yksi kuva luetaan mahdotlisimman nopeasti, ettei kuvaan 
paase muodostumaan esim. liikevaaristymia. Kuvaelementtien luku 
suoritetaan esimerkiksi seuraavasti. Vastaanotettuaan tarvittavat oh- 
jauskomennot ja parametrit asettaa kameramodulin ohjauslohko 11 

20 edullisesti kuva-anturin 2 ensimmaisen kuvaelementtirivin luettavaksi 
rivivalitsimella 3. Seuraavaksi sarakevalitsimella 4 ohjauslohko 1 1 valit- 
see ensimmaisen sarakkeen, jolloin sarakevalitsimen ulostulossa 5 on 
taman kuvaelementin virta siirrettavissa naytteenotto- ja pitopiiriin 6. 
Virta-arvon vakiintuminen sarakevalitsimen ulostulossa 5 saattaa vaatia 

25 tietyn asetusajan, ennen kuin ohjauslohko 1 1 ohjaa naytteenotto- ja pi- 
topiiria 16 ottamaan naytteen tasta virrasta. Asetusaika on edullisesti 
muutamia kymmenia nanosekunteja. Sen jalkeen, kun naytteenotto- ja 
pitopiiri 6 on ottanut naytteen, ohjaa ohjauslohko 11 analo- 
gia/digitaalimuuntimen aloittamaan analogia/digitaalimuunnoksen laatu- 

30 rekisteriin 13 maaritetylla muunnostarkkuudella. Analogia/digitaali- 
muunnin 7 kasittaa tyypillisesti statuslinjan tai vastaavan, jonka avulla 
ohjauslohko 11 voi tutkia analogia/digitaalimuunnoksen valmistumista. 
Sen jalkeen, kun analogia/digitaalimuunnos on suoritettu, siirtaa 
ohjauslohko 11 muunnostuloksen esikasittelylohkoon 8 ja suorittaa 

35 tarvittaessa muunnoksen. Taman jalkeen kuvaelementin kuvainformaa- 
tio tallennetaan kameramodulin 1 muistiin 18 valitulle kuvaelementille 
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osoitettmun muistipaikkaan. Taman jalkeen ohjauslohko 11 asettaa sa- 
rakevaiitsimeen 4 tiedon, jolla sarakevalitsin 4 valitsee ulostuloon 5 
seuraavan kuvaelementin virran. Talle virta-arvolle suoritetaan vastaa- 
vat toimenpiteet kuin edella on esitetty. Koko rivin kuvaelementtien 
muuntamisen jalkeen valitsee ohjauslohko 1 1 seuraavan rivin muunnet- 
tavaksi rivivalitsimella 3. Kun koko kuva-alue on kayty lapi, on kuvain- 
formaatio tallennettuna muistissa 18 ja valmis siirrettavaksi. Tama siirto 
voidaan toteuttaa esimerkiksi siten, etta kameramoduli 1 lahettaa sarja- 
vaylalle 10 tiedon kuvan muunnostuloksen valmistumisesta, jolloin mat- 
kaviestimen ohjauslohko 25 lahettaa ohjaussarjavaylalle 16 kuvansiir- 
ron aloituskomennon, mikali matkaviestin 23 on valmis vastaanotta- 
maan kuvainformaation. Taman jalkeen ohjauslohko 11 siirtaa muistista 
18 ensimmaisen kuvaelementin muunnostuloksen rinnakkais/sarja- 
muuntimelle 9, jossa muunnostulos muunnetaan sarjamuotoon ja 
lahetetaan sarjavaylalle 10. Tarvittaessa voidaan tassakin vaiheessa 
plenentaai siirrettavan informaation maaraa jSttamalla osa vahemman 
merkitsevista biteista siirtamatta. Matkaviestimen ohjauslohko 25 
vastaanottaa taman tiedon ja suorittaa sille sana/rinnakkaismuunnok- 
sen ja siirfaa tiedon matkaviestimen muistiin 26 valitulle kuvaelementille 
varattuun muistipaikkaan. Seuraavaksi siirretaan toisen kuvaelementin 
informaatio jne, kunnes koko kuva on saatu siirrettya. 

Taman jalkeen matkaviestimen ohjauslohko 25 esimerkiksi nayttaa ku- 
van nayttaiaitteella 27 siirtamalla kuvainformaation muistista 26 naytto- 
laitteelle 27, jossa kuvainformaatio esitetaan sille varatussa kohdassa. 
Jos nayttdlaitteena 27 on analoginen nayttSlaite, suoritetaan kuvain- 
formaatiollle viela digitaali/analogiamuunnos ennen nayttolaitteelle 27 
johtamista. 

Kameramodulista 1 luettavasta kuvasta voidaan haluttaessa rajata pie- 
nempi alue (ikkuna) siirrettavaksi matkaviestimeen 23. Tama tehdaan 
edullisesti lahettamalla siirrettavan alueen kahden vastakkaisen kulma- 
pisteen koordinaatit (kuvaelementtien rivi- ja saraketunnukset) seka 
tieto halutusta muunnostarkkuudesta ja kuvan resoluutiosta. Kamera- 
moduli ottaa tassakin tilanteessa edullisesti tayden kuvan ja tallentaa 
sen muistiin, mutta sarjav§ylalle 10 lahetetaan vain halutun alueen ku- 
vainformaatio. 
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Lisaksi keksjntoa voidaan soveltaa siten, etta kameramoduli 1 ottaa ku- 
van aina maksimiresoluutiolla ja muunnostarkkuudella ja tallentaa ku- 
van muistiin 18. Resoluution ja/tai muunnostarkkuuden pienentaminen 
5 tehdaan t&lloin siina vaiheessa, kun tietoa siirretaan sarjavaylalle 10. 

Koska tassa etsin-toiminnossa kuvainformaation maara siirrettavaa ku- 
vaa kohden on pienempi kuin normaali valokuvaustoiminnossa, voi- 
daan kuvia paivittaa nopeammassa tahdissa kuin tunnetun tekniikan 

10 mukaisia ratkaisuja kaytettaessa. Tailoin kuva p&ivittyy nopeammin ja 
nykimista ei ole havaittavissa merkittSvissa maarin. Tasta huolimatta 
voidaan lopullinen kuva ottaa suuremmalla resoluutiolla, jolloin matka- 
viestimen ohjauslohko lahettdd tarvittavat ohjauskomennot ja parametrit 
kameramodulin 1 ohjauslohkoon 11. Tarna kuvan ottaminen voidaan 

15 toteuttaa esimerkiksi siten, etta kayttaja painaa ennalta maarattya nap- 
painta matkaviestimen nappaimistosta 29. Tailoin kameramoduli 1 
suorittaa kuvan muunnoksen suuremmalla resoluutiolla ja muunnoksen 
valmistuttua kameramoduli 11 lahettaa sarjavaylalle 10 tiedon kuvan 
valmistumisesta, jolloin matkaviestimen ohjauslohko 25 voi aloittaa ku- 

20 vainformaation siirron. Tassa tapauksessa kuvainformaation siirtami- 
nen kestaa kauemmin kuin etsin-toiminnossa, mutta toisaalta silla ei ole 
merkitysta. 

Keksinnon mukaisen kameramodulin 1 etuna on viela se f etta kuvain- 
25 formaatio voidaan siirtaa asynkronisesti kameran toimintoihin nShden. 
Keksinnon mukaista kameramodulia 1 voidaan nain ollen ohjata siten, 
etta se muodostaa halutun tyyppisen kuvan, jolloin voidaan tarvittaessa 
vahentaa siirrettSvan kuvainformaation maaraa. Tunnetun tekniikan 
mukaisissa kameramoduleissa kuvaformaattia ja resoluutiota voidaan 
30 muuttaa, mutta kuvainformaation siirto suoritetaan kameramodulin 
maaraam&ssa tahdissa ja vakionopeudella, jolloin tyypillisesti tarvitaan 
joko rinnakkaismuotoinen vayla tai sarjamuotoinen nopea vayla tiedon 
siirtamiseksi riittavan nopeasti kameramodulista jatkokasittelyvaiheisiin. 

35 Keksinnon mukaista kameramodulia 1 voidaan kayttaa myos videoku- 
vaamisessa hyvaksi, jolloin kukin yksittainen kuva muodostuu pienem- 
mSsta mMarasta kuvainformaatiota kuin tunnetun tekniikan mukaisissa 



i 
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kameramoduleissa, mutta kuvien paivitystiheytta voidaan nostaa, jolloin 
saadaan elavampaa kuvaa aikaiseksi. Keksinnon mukaisella kamera- 
modulilla 1 otettuja kuvia voidaan tarvittaessa myos siirtaa matkavies- 
tinverkon valityksella. Talloin kuvan 3 lohkokaavioon viitaten matka- 
5 viestimen ohjauslohko 25 suorittaa kuvien lukemisen edella esitetyilla 
tavoilla ja: siirtaa kuvainformaation edelleen radio-osaan 30, josta kuva- 
informaatio voidaan valittaa matkaviestinverkon (ei esitetty) valityksella 
toiseen matkaviestimeen tai telepaatelaitteeseen. Talloin vastaanotta- 
vassa telepaatelaitteessa voidaan esittaa kuvainformaatio. Matkavies- 
10 timen ohjauslohko 25 tarvittaessa kompressoi radio-osaan lahettavan 
kuvan, jolloin tiedonsiirtoa matkaviestinverkossa voidaan tehostaa. 
Koska kuvan kasittely suoritetaan paaosin jo kameramodulissa 1, ei 
matkaviestimen ohjauslohkolta 25 tarvita niin suurta kasittelykapasi- 
teettia kuin tunnetun tekniikan mukaisia kameramoduleita kaytettaessa. 

15 

Nyt esilla olevaa keksintda ei ole rajoitettu ainoastaan edella esitettyihin 
suoritusmuotoihin, vaan sita voidaan muunnella oheisten patenttivaati- 
musten puitteissa. 
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a 3 

Patenttivaiatimukset: 

1 . Menetelma kuvainformaation siirtamiseksi kameramodulista (1) elekt- 
roniikkalajtteeseen, kuten matkaviestimeen (23), jossa kameramodulis- 
sa (1) muodostetaan kuva kuva-anturilla (2), joka kasittaa kuvaelement- 
teja, joissa kuvaelementtiin (P1 ,1 — Pm.n) kohdistuva valo muunnetaan 
analogiseksi signaaliksi, joka muunnetaan digitaaliseksi kuvainformaa- 
tioksi, tunnettu siita, etta kuvainformaatio siirretaan sarjamuodossa, ja 
etta kuvainformaation siirtamista ohjataan elektroniikkalaitteesta (23). 

2. Patentltivaatimuksen 1 mukainen menetelma, tunnettu siita, etta 
kameramodulilta (1) siirrettavan kuvainformaation maaraa voidaan 
saataa. 

3. Patenitivaatimuksen 2 mukainen menetelma, tunnettu siita, etta 
kameramodulilta (1) siirrettavan kuvainformaation maaran saataminen 
suoritetaan saatamalla analogia/digitaalimuunnoksen muunnostark- 
kuutta. 

4. Patenttivaatimuksen 2 tai 3 mukainen menetelma, tunnettu siita, 
etta kameramodulilta (1) siirrettavan kuvainformaation maaran saata- 
minen suoritetaan saatamalla kuvan resoluutiota. 

5. Patenttivaatimuksen 4 mukainen menetelma, tunnettu siita, etta ku- 
van resoluution saataminen suoritetaan alinaytteistamalla kuvainfor- 
maatiota. 

6. Patenttivaatimuksen 4 tai 5 mukainen menetelma, tunnettu siita, 
etta elektroniikkalaitteessa (23) resoluutio palautetaan interpoloimalla 
vastaanbtetusta kuvainformaatiosta. 

7. Kameramoduli (1), joka kasittaa kuva-anturin (2), jossa on kuvaele- 
mentteja (P1.1 — Pm.n) valosahkoisen muunnoksen suorittamiseksi, ja 
valineet (6, 7) mainittujen kuvaelementtien muodostaman analogisen 
signaalin muuntamiseksi digitaaliseksi, tunnettu siita, etta kamera- 
moduli (1) kasittaa lisaksi valineet (10) digitaalisen kuvainformaation 
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siirtamiseksi elektroniikkalaitteeseen, kuten matkaviestimeen (23) f sar- 
jamuodosisa, ja valineet (11, 16) kuvainformaation siirron suorittami- 
seksi elektroniikkalaitteen (23) ohjaamana. 

8. Patenttivaatimuksen 7 mukainen kameramoduli (1), tunnettu siita, 
etta se kasittaa lisaksi valineet (11) kameramodulilta (1) siirrettavan ku- 
vainformaation maaran saatamiseksi. 

9. Patenttivaatimuksen 8 mukainen kameramoduli (1), tunnettu siita, 
etta mainitut valineet (11) kameramodulilta (1) siirrettavan kuvainfor- 
maation maaran saatamiseksi kasittavat valineet (13) analogia/digitaali- 
muunnoksen muunnostarkkuuden saatamiseksi. 

10. Patenttivaatimuksen 8 tai 9 mukainen kameramoduli (1), tunnettu 
siita, etta: mainitut valineet (11) kameramodulilta (1) siirrettavan kuvain- 
formaation maaran saatamiseksi kasittavat valineet (15 f 33) kuvan 
resolution saatamiseksi. 

11. Patenttivaatimuksen 10 mukainen kameramoduli (1), tunnettu 
siita, etta mainitut valineet (33) kuvan resoluution saatamiseksi kasitta- 
vat valineet (12, 13) kuvainformaation alinaytteistamiseksi. 

12. Jonkin patenttivaatimuksen 8 — 11 mukainen kameramoduli (1), 
tunnettul siita, etta mainitut valineet (11) kameramodulilta (1) siirretta- 
van kuvainformaation maaran saatamiseksi kasittavat valineet (1 5) ka- 
meramodulissa (1) muodostetun kuvainformaation alinaytteistamiseksi. 

13. Matkaviestin (23), tunnettu siita, etta se kasittaa: 

valineet (10) kameramodulin (1) liittamiseksi, joka kameramoduli 
(1) kasittaa kuva-anturin (2), jossa on kuvaelementit (P1,1 — Pm,n) 
valosahkoisen muunnoksen suorittamiseksi, ja valineet (6, 7) valo- 
sahkoisten muunnosvalineiden muodostaman analogisen signaalin 
muuntamiseksi digitaaliseksi, ja 

valineet (24, 25) kameramodulin (1) muodostaman kuvainformaati- 
on siirtamisen ohjaamiseksi, ja 

valineet (24) kameramodulin (1) muodostaman kuvainformaation 
siirtahniseksi matkaviestimeen (23) sarjamuodossa. 
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14. Patenttivaatimuksen 13 mukainen matkaviestin (23), tunnettu siita, 
etta se kasittaa lisaksi valineet (11) kameramodulista (1) siirrettavan 
kuvainformaation maaran saatamiseksi. 



1 /SB 14:31 ; 



(57) Tiivistelma : 

Keksinnon kohteena on menetelma kuvainformaation 
siirtamiseksi kameramodulista (1) elektroniikkalaittee- 
seen, kuten matkaviestimeen (23). Kameramodulissa (1) 
muodostetaan kuva kuva-anturilla (2), joka kasittaa ku- 
vaelementteja, joissa kuvaelementtiin (P1.1 — Pm.n) 
kohdistuva valo muunnetaan analogiseksi signaaliksi, 
joka muunnetaan digitaaliseksi kuvainformaatioksi. Ku- 
vainformaatio siirretaan sarjamuodossa, ja kuvain- 
formaation siirtamista ohjataan elektroniikkalaitteesta 
(23). 

Fig. 1a 
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Method for transferring image information 

The present invention relates to a method for transferring image infor- 
5 mation according to the preamble of the appended claim 1 , a camera 
module according to the preamble of the appended claim 7, and a 
mobile station according to the preamble of the appended claim 13. 

In digital cameras and video cameras, an optical image is converted 

10 into electrical form by an image sensor, typically a charge coupled de- 
vice (CCD). Such an image sensor consists of several photosensitive 
picture elements (pixels) which are arranged advantageously in a ma- 
trix form. The number of pixels in the image sensor affects the resolu- 
tion of the image to be formed. Typically, the image sensor used in 

15 cameras and video cameras consists of hundreds of thousands of pix- 
els, for example 640 x 480 = 307 200 pixels. In a CCD sensor, light in- 
duces a charge in the pixel, which is affected e.g. by the intensity of the 
light as well as the time of action of light in the pixel, i.e. exposure time. 
Cameras are equipped with optics whereby the image is focused at the 

20 pixels of the image sensor. When a CCD sensor is used, the pixels are 
uncharged before taking the picture, whereby after a predetermined 
exposure time, each pixel has a charge which is proportional to the 
quantity of light directed to it and which can be measured. After the ex- 
posure, the entry of light in the CCD sensor is prevented e.g. with a 

25 mechanical shutter. The shutter function can be implemented also 
electrically by sufficiently quick reading of the image sensor. 

In the CCD sensor, the pixels are chained by coupling them in series, 
and the output of the CCD sensor is coupled with the first pixel in the 

30 connection in series, whereby the image signal from the CCD sensor 
can be read by transferring charges from one pixel to the next, timed by 
a charge transfer signal. The charges can be read from the output of 
the CCD element, whereby the charge of the pixel coupled to the output 
is read first. In the same connection, the charge transfer signal induces 

35 the transfer of charges in other pixels to the next pixel, i.e. the pixel 
coupled to the output will receive the charge of the second pixel 
coupled to the same, the second pixel will receive the charge of the 
pixel that is third in the connection in series, respectively, etc. Each line 
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of the image sensor can form a separate pixel chain. Each pixel chain 
is provided with a separate output from the first pixel in the chain, as 
presented above. From these outputs from the pixel chains, the 
charges can be transferred e.g. to a transfer register. Reading a CCD 
5 image sensor formed in this way requires transfers of charges in a way 
corresponding to the number of pixels in the pixel chain. Thus, measur- 
ing the charge of a single pixel is not possible except by carrying out 
the transfer of charges as presented above as long as the charge of the 
desired pixel is in the output of the image sensor. Using such an image 
10 sensor, undersampling of the image is difficult and slow because, in 
practice, the charges of all pixels in the pixel chain must be transferred 
to the output even though some of the pixels were not processed in un- 
dersampling. 

15 The conversion of an analog signal generated by the image sensor to 
digital form can be conducted with an analog/digital converter. The 
conversion accuracy of the analog/digital conversion is typically 8 bits, 
whereby 256 luminous intensity levels are obtained from each pixel. 
Considering the capacity of human eye, this number is usually sufficient 

20 to provide the required image quality. From the analog/digital converter, 
this conversion result is transferred in parallel form for further 
processing steps, such as for storing in an image memory or on a video 
tape. In digital cameras and video cameras of prior art, the display de- 
vice used is an analog display device, such as a LCD display device 

25 equipped with an analog connection, whereby the image is transferred 
as an analog signal to the display device. 

In addition to the above-mentioned CCD sensors, recent development 
has involved so-called CMOS image sensors, whereby it is also 
30 possible to conduct the photoelectric conversion of the image. These 
CMOS image sensors are based on primarily two different operating 
principles: integrating and non-integrating image sensors. 

In integrating image sensors, the current generated by the pixel is used 
35 to charge a capacitor arranged in connection with the pixel. The charge 
of the capacitor depends on the strength and charge time of the current 
induced by the pixel. Before image formation, each capacitor is un- 
charged, after which the current generated by the pixel starts to charge 
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the capacitor, whereby the charge accumulated in the capacitor after 
the exposure is proportional to the quantity of light to which the pixel 
was exposed. Setting the exposure time of integrating CMOS image 
sensors can be handled e.g. by a mechanical shutter, whereby the 
5 control electronics can be made simpler whereby the exposure time of 
each image element is substantially the same, or by timing the 
discharging of the capacitor and measuring of the accumulated charge 
substantially the same for different pixels. In an integrating image 
sensor, a charge is also accumulated in the capacitor when the pixel is 

10 in darkness. This may distort the image signal from the pixel. To correct 
this, a so-called correlated double sampling (CDS) method has been 
developed, whereby the charge of the capacitor of the pixel is meas- 
ured after charge resetting preferably before exposure, and this value is 
stored for each pixel. The charge of the capacitor is measured again 

15 after the exposure time, and the stored value is subtracted from this 
measurement value. The difference corresponds better to the real 
image signal proportional to the quantity of light than an image signal 
obtained by one measurement. After the charge measurements pre- 
sented above, the measurement value is subjected to analog/digital 

20 conversion, whereby the measurement result can be stored in digital 
form. 

In non-integrating CMOS image sensors, the current generated by each 
pixel is measured, which is proportional to the intensity of light to which 
25 the pixel is exposed at the time. This kind of a sensor has the advan- 
tage that each pixel can be designated separately and the current can 
be measured irrespective of other pixels and exposure times. This ran- 
dom access is easier in integrating image sensors, if a mechanical 
shutter is used to set the same exposure time for different pixels. 

30 

CMOS image sensors can be also divided into passive and active im- 
age sensors. Their primary difference lies in the fact that in active im- 
age sensors, the pixel is also provided with an intensifier. This reduces 
the spreading of the charge of capacitors in the integrating image sen- 
35 sor to the next capacitors at the stage of measuring the charge, which 
may distort the measuring results in passive image sensors. 
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Irrespective of the type of the image sensor, the digitised values of the 
pixels are transferred for further processing typically in analog form, 
pixel by pixel. Thus, the image field is scanned for example line by line, 
starting from the first pixel on the first line. The analog image signal can 
5 be sent to be displayed e.g. by an analog display device. At the stage 
of further processing, the analog image signal can be converted to 
digital form e.g. for storage in an image memory, whereby the digital 
value formed from the analog signal of each pixel is stored in a memory 
location corresponding to the pixel in question. The image signal can be 
10 subjected to e.g. filtering and noise suppression, if necessary. 

In currently known camera modules comprising an image sensor and 
control logic, the image information can be read either in analog form, 
whereby the signal must be subjected to analog/digital conversion for 

15 further processing steps, or readily converted in parallel digital form. 
Further, the synchronisation of image information is conducted by the 
control logic of the camera module in a predetermined image format, 
whereby typically a standard quantity of information must be transferred 
from each image. The quantity of information for one image depends on 

20 the number of pixels in the image sensor, i.e. the resolution, and the 
accuracy of the analog/digital conversion of each pixel. For example, in 
an image sensor consisting of 480 horizontal lines and 640 vertical 
lines, thereby comprising 307 200 pixels, each of which is subjected to 
analog/digital conversion of 8 bits, the total information of one image 

25 amounts to 2 457 600 bits. 

When such a camera module of prior art is connected to a portable 
electronic device, such as a mobile station, one problem is the greater 
space needed by the parallel bus solution, compared with using a serial 

30 bus for the transfer of image information. In a typical application, infor- 
mation of 8 bits per pixel is used in a black-and-white image and infor- 
mation of 24 bits per pixel in a colour image, whereby at least 8 parallel 
transfer lines are needed. When a separate camera module is used, 
the coupling cable to be connected with the parallel bus should com- 

35 prise conductors for each line of the parallel bus and also a ground 
conductor and possibly a power supply conductor for the camera 
module, whereby the coupling conductor becomes considerably more 
expensive and stiffer to use than a coupling cable of a serial bus con- 
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taining fewer conductors. Furthermore, possible capacitive coupling 
between signal transfer lines in the parallel bus may cause cross-talk 
between adjacent conductors. Cross-talk is easily increased when the 
length of the conductors is increased. Furthermore, parallel data 
5 transmission complicates the structure of the device to be connected to 
the camera module and increases the manufacturing costs. 

The use of a serial bus in solutions of prior art would typically require 
increasing the data transfer rate at least 8 times compared with data 

10 transfer in parallel form, if the aim is to transfer the same quantity of 
information in the same time. This is not always possible, because fast 
digital signals have very sharp edges, i.e. the rise and fall times of the 
signal are very short, whereby they easily induce disturbances in the 
operation of the electronic device as well as other electronic devices. 

15 Also, signals containing rapid changes are susceptible to distortions 
which may affect the reliability of the data transfer. 

One disadvantage with present camera modules is their inflexibility; 
they produce an image in a determined form at a rate determined by 

20 the camera module itself. Information produced by camera modules of 
prior art cannot be easily affected, whereby it may be necessary to 
conduct unnecessary functions in the device receiving the image signal 
particularly when the quantity of image information entering the receiv- 
ing device exceeds the quantity that can be utilised in the receiving de- 

25 vice, whereby transferring the unutilised image information consumes 
power to an unnecessary degree. Some camera modules of this kind 
provide the option of adjusting how often a new image is transferred 
from the camera module. However, the quantity of information in each 
image is not changed. If the receiving device cannot process all images 

30 at the set updating rate but controls the camera module to transfer im- 
ages at a slower rate, the updating rate may sink to such a low level 
that it can be detected in the image e.g. as discontinuous movement. 

In several digital cameras, an LCD display device is presently used for 
35 displaying image information. This display device is used both as a 
viewfinder for directing the camera to the desired photographic subject 
and for observing the picture taken, whereby the picture can be taken 
again, if necessary. Display devices of this kind are typically analog, 
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whereby the image signal is in analog form. When used as a 
viewfinder, the image displayed with a display device must be updated 
at a sufficient rate. The frequency of updating the image is limited by 
the large quantity of image information to be transferred and the limited 
5 transfer rate. This results in discontinuous movement of the image to 
be displayed on the display device, particularly during movement of the 
camera or the photographic subject. Also in several video cameras, an 
analog LCD display device is currently used as a viewfinder, whereby 
the problems are similar during video recording. 

10 

It is an aim of the present invention to provide an improved method for 
transferring image information e.g. to an electronic device, and a cam- 
era module from which image information can be transferred in serial 
form from an electronic device which may also control the transfer of 

15 the image. In addition, the image format can be modified according to 
the need. The method of the invention is characterised in what will be 
presented in the characterising part of the appended claim 1 . The cam- 
era module of the invention is characterised in what will be presented in 
the characterising part of the appended claim 7. Furthermore, the 

20 mobile station of the invention is characterised in what will be presented 
in the characterising part of the appended claim 13. The invention is 
based on the idea that image information is transferred in serial form to 
an electronic device at a rate determined by the same. Furthermore, 
the quantity of image information to be transferred can be adjusted, 

25 whereby e.g. in viewfinder mode it is possible to display images with 
less image information at a sufficient rate so that disturbing jerky 
movement is not shown in the image to be displayed on a display 
device. When taking the final picture, the quantity of image information 
is raised to a desired level. 

30 

The present invention gives significant advantages compared with prior 
art. In a camera implemented by the method of the invention, the 
viewfinder mode and video recording can be implemented so that the 
image follows the movements of the camera or the imaging object. In 
35 simple photography, the final photograph can be, nevertheless, taken 
with a resolution which is as high as that possible in cameras of prior 
art. In video recording, a sufficient image quality is obtained in normal 
situations. Using the camera module of the present invention, the size 



7 



and power consumption of the electronic device can be made smaller 
than when using camera modules of prior art. Moreover, the solutions 
for transferring image information according to the invention do not 
require increasing the signal transfer rate, whereby the number of 
5 disturbances can be kept significantly smaller than is possible when 
using solutions of prior art, the image transfer rate being the same. 

Furthermore, the present invention gives the advantage that the data 
transfer bus between the camera module and the electronic device can 
10 be made simpler and the connection means for connecting the camera 
module can be made simpler in the electronic device. 

In the following, the invention will be described in more detail with ref- 
erence to the appended drawings, in which 

15 

Fig. 1a shows functional blocks of a camera module according to a 
preferred embodiment of the invention, 



Fig. 1b shows the camera module according to a preferred 
20 embodiment of the invention in a reduced block chart, 

Fig. 2a shows the connection of the camera module according to a 
preferred embodiment of the invention as a separate device 
to a mobile station, and 

25 

Fig. 2b shows the integration of the camera module according to a 
preferred embodiment of the invention in a mobile station. 

Figure 1a shows functional blocks of a camera module according to a 
30 preferred embodiment in a reduced manner. For the photoelectronic 
conversion of the image, the camera module 1 has an image sensor 2 
which in this example is a non-integrating CMOS image sensor, but the 
invention can also be applied in other types of image sensor, such as 
integrating CMOS image sensors and CCD image sensors. The 
35 resolution of the image sensor 2 is for example 640 x 480, but the 
resolution as such has no significance in applying this invention. For 
clarity, not all pixels are shown in the drawings but as examples the first 
pixel P1 ,1 , the second pixel P2,1 and last pixel Pm,1 of the first line, the 
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first pixel P1,2 of the second line, and the last pixel Pm,n of the last line 
are illustrated. A line selector 3 is used to select the pixel line to be 
examined at a time, and a column selector 4 is used to select the 
desired pixel P1,1 — Pm,n of the line selected by the line selector 3, the 
5 current generated by the pixel being conducted to the output 5 of the 
column selector 4. Thus, the output 5 of the column selector contains 
the current generated by the selected pixel P1,1 — Pm,n which is 
proportional to the intensity of light to which said pixel P1,1 — Pm,n is 
exposed at the moment of reading. When using an integrating image 

10 sensor or a CCD image sensor, the charge is proportional to the 
intensity of the light to which the pixel P1,1 — Pm,n is exposed and to 
the exposure time, whereby a means is also required to discharge each 
pixel P1,1 — Pm,n. As mentioned earlier in this description, it is not easy 
to implement addressing of single pixels P1,1 — Pm,n in CCD image 

15 sensors and integrating CMOS image sensors, but in other respects, 
the operation of the camera module 1 according to the invention is 
essentially similar to that when using a non-integrating image sensor 2. 

The output 5 of the column selector is coupled to a sample and hold 
20 circuit 6. The output voltage of the sample and hold circuit 6 is set at 
the moment of sampling substantially the same as the input voltage of 
the sample and hold circuit 6. This output voltage is kept substantially 
constant until the next sampling instant or during the holding time of the 
sample and hold circuit 6. With this sample and hold circuit 6, it is pos- 
25 sible to keep the measuring voltage supplied to the analog/digital con- 
verter 7 for the time required for analog/digital conversion, whereby the 
analog/digital conversion is as reliable as possible. If necessary, the 
digital conversion result of the analog/digital converter 7 is sent to a 
pre-processing block 8 where the image information can be subjected 
30 to some conversion and/or filtering operations, such as conversion of 
colour image format, conversion of image information for different dis- 
play devices, and image undersampling. 

If the image sensor 2 is intended for taking colour images, each pixel 
35 P1,1 — Pm,n can consist of three partial elements for different colour 
components. Typically, a so-called RGB image format (red, green, 
blue) is used, whereby each colour component can be subjected to a 
separate photoelectric conversion. This can take place for example by 
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arranging a red filter in front of the pixel measuring the red colour 
component, preventing the pixel from being exposed to light at 
substantially other than red wavelengths; in a corresponding manner, a 
green filter is arranged in front of the pixel measuring the green colour 
5 component, and a blue filter is arranged in front of the pixel measuring 
the blue colour component. In the final image, one dot consists of these 
three pixels. These pixels corresponding to different colour components 
can be placed side by side for example on the same line or in the form 
of an isosceles triangle. Thus, for determining one dot, it is necessary 

10 to examine the signal formed by three pixels. This can be done e.g. so 
that the analog/digital conversion is conducted in the camera module 1 
for each colour component one after the other using the same sample 
and hold circuit 6 and analog/digital converter 7. In another alternative, 
separate sample and hold circuits and analog/digital converters are 

15 arranged for each colour component. Thus, each colour component is 
further provided with a selector, preferably a column selector 4. 

Furthermore, colour image sensors have been developed in which the 
number of pixels is the same as in a monochrome image sensor. This is 

20 achieved e.g. in a way that every other pixel is a pixel measuring green 
light, every fourth one is a pixel measuring red light and every fourth 
one a pixel measuring blue light. This is based on the capacity of the 
human eye; the sensitivity to different colours is different. Information 
given by the green pixel can be used as luminance information almost 

25 directly. In the final image signal, for example a group of four pixels is 
used to form the image signal of one dot. These methods are disclosed 
in more detail e.g. in patents US-4,642,678 and US-4,630,307. 

The conversion of colour format e.g. from the RGB colour format to a 
30 so-called YCbCr format can be conducted by calculation as follows: 
(1a) Y = 0.299 R + 0.587 G + 0.1 14 B 

(1b) Cb =^0.168 R — 0.331 G + 0.5 B 

(1c) Cr = 0.5 R — 0.41 87 G— 0.081 3 B 

35 The luminance component Y indicates the grey tones of the image, and 
this can be used e.g. in displaying a black-and-white image and in dis- 
playing a colour image as a black-and-white image. There are two 
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chrominance components, Cb and Cr, which contain the colour infor- 
mation of the image. 

From the pre-processing block 8, the image information is transferred to 
5 the memory 18 of the camera module. From the memory 18, the image 
information can be transferred to a parallel/series converter 9 where the 
digitised image information of each pixel P1,1 — Pm,n is converted to 
serial form. The image information can thus be read in serial form from 
a serial connection bus 10. As the data transfer format in this serial 
10 bus, it is possible to use serial data transfer formats known as such, for 
example in a way that the image information of 8 bits is framed with 
initial and terminal bits. The transfer of the image information is 
advantageously controlled by the electronic device, as will be disclosed 
below in this description. 

15 

For controlling the above-mentioned functional blocks, the camera 
module 1 is further provided with a control block 1 1 , which in this 
preferred embodiment includes four control registers 12 to 15 and a 
timing block 33. A sample register 12 determines at which moment the 

20 sample and hold circuit 6 takes a sample from the output 5 of the col- 
umn selector. A quality register 13 determines the accuracy of the con- 
version to be conducted by the analog/digital conversion. A pre-proc- 
essing register 14 determines whether an image format conversion is to 
be conducted in the pre-processing block 8 and also whether image 

25 information in digital form is to be undersampled. The parallel/serial 
converter 9 is further provided with a parallel/serial conversion regis- 
ter 15 which controls data transfer on the serial bus 10. The control 
block also takes care of the operations needed for taking a picture, 
such as resetting the charges of the pixels P1,1 — Pm,n and timing the 

30 measurement of the charges of the pixels P1 ,1 — Pm,n. 

A control serial bus 16 is connected to the control block 11 of the cam- 
era module 1 e.g. for transferring control commands and parameters to 
the control block 1 1 . The control block 1 1 comprises further means (not 
35 shown) for controlling the line selector 3 and the column selector 4. 

Figure 1b shows a camera module 1 according to an advantageous 
embodiment of the invention in a reduced block chart. In the camera 



module 1 of Fig. 1b, e.g. the pre-processing block 8, the parallel/serial 
converter 9 and the control block 11 of Fig. 1a are implemented in the 
digital signal processing unit 17 (DSP). In Fig. 1b, the image sensor 2 
and the line selector 3 and column selector 4 are shown in one block 2\ 
5 In a corresponding manner, the sample and hold circuit 6 and the 
analog/digital converter 7 are shown in one block 7\ The signal 
processing unit 17 is provided with a memory 18, preferably at least a 
random access memory RAM, e.g. for temporary data storage. 
Furthermore, the memory 18 contains the control commands or the like 

10 required for controlling the operation of the digital signal processing 
unit 17. The memory 18 is coupled via a memory connection block 19 
to the system bus 20 of the digital signal processing unit. The system 
bus 20 includes a data bus, an address bus and a control bus, but 
these are not shown separately, and the practical implementation of 

15 these buses is prior art to someone skilled in the art. 

The digital signal processing unit 17 further comprises a serial connec- 
tion circuit 21. It includes a parallel/serial conversion block for the in- 
formation to be transmitted to the serial bus 10, as well as for convert- 
20 ing serial form control information from the control serial bus 16 into 
parallel form for transmission to the system bus 20. 

The signal processing and control block 22 of the digital signal process- 
ing unit 17 controls the image sensor 2' for reading the image informa- 

25 tion of the pixels P1,1 — Pm,n. This is conducted advantageously so 
that in the selection lines of the line selector, which are shown as one 
line and indicated by the reference RSEL in Fig. 1a, the binary value is 
set to correspond to the desired line of the image; to select the first line, 
the value 0; to select the second line, the value 1, etc. Furthermore, an 

30 output enabling line OE1 is conducted to the line selector, to change 
the state of the line selection line corresponding to the binary value set 
in the selection lines to another logical state, e.g. logical 0 state. Thus, 
the logical 1 state corresponds to a situation where the line is not 
selected. In the logical 0 state, the first connection interface (conductor) 

35 of the pixels coupled to said line is set close to 0 V. In a corresponding 
manner, in the selection lines SSEL of the column selector, the binary 
value is set to correspond to the column to be examined. As a result, 
the input line of the column selector, connected to the corresponding 
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column lines of the image sensor, is coupled to the output line 5 of the 
column selector, whereby the signal of this line 5 corresponds to the 
signal of the selected pixel, which can be converted into digital form. 

5 Figure 2a shows the connection of a camera module 1 according to a 
preferred embodiment of the invention as a separate module to an 
electronic device, preferably a mobile station 23, by means of an 
external connection bus 24. The external connection bus 24 comprises 
a serial bus 10 and a control serial bus 16, whereby control information 

10 can be transferred from the mobile station 23 to the camera module 1 
and image information can be transmitted from the camera module 1 to 
the mobile station 23, respectively. The mobile station 23 is provided 
e.g. with a control unit 25 comprising advantageously a microprocessor 
CPU or a corresponding processor, a memory 26 and a serial connec- 

15 tion block 31 (serial input/output) for coupling the external connection 
bus 24 to the mobile station 23. For example the serial/parallel con- 
versions between the external serial bus 24 and the system bus 24 of 
the mobile station take place in the serial connection block 31 . The 
memory 26 can be used e.g. for storing image information read from 

20 the camera module 1 , whereby the image can be displayed for example 
with a display device 27. One advantage of this separate camera mod- 
ule 1 is that the same camera module 1 can be used in connection with 
different electronic devices equipped with the required connection 
means for connecting the external connection bus 24 with the electronic 

25 device. The external connection bus 24 can consist of conductors, or it 
can be implemented e.g. with infrared data transmission means. 

Figure 2b shows a solution in which the camera module 1 according to 
the invention is integrated in the mobile station 23. Thus, an internal 

30 serial connection bus 28 is arranged between the camera module 1 and 
the control block 25 of the mobile station, to transfer control and image 
information between the camera module 1 and the control block 25 of 
the mobile station. The internal serial bus 28 is coupled to the serial 
connection block 31 of the mobile station which performs e.g. the 

35 serial/parallel conversions between the serial bus 28 and the system 
bus 32 of the mobile station. Using this integrated solution, it is possible 
to achieve a relatively compact mobile station 23 also equipped with the 
camera function. This has the advantage that no separate external 
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connection bus is needed between the camera module 1 and the 
control block 25 of the mobile station, and that the use of such an 
integrated device is in many situations easier than the use of two sepa- 
rate devices. 

5 

In the following, the operation of the method according to the invention 
will be described. It is assumed that the camera module 1 is intended 
for taking single photographs, corresponding to a normal digital photo- 
graphic camera, and that the image sensor 2 is a non-integrating 

10 CMOS image sensor. When preparing for taking a picture, the camera 
module 1 is set to viewfinder mode, whereby image information of the 
camera module 1 is displayed on the display device 27, so that the user 
can direct the camera module 1 to the desired photographic subject 
and perform cut-out operations, if necessary. The optics of the camera 

15 module 1 can, in a manner known as such, comprise various objec- 
tives, exchangeable objectives and zoom objectives, but these will not 
be discussed in more detail in this context. The user sets the camera 
module 1 to viewfinder mode preferably by using the keypad 29 of the 
mobile station 23. The control block 25 of the mobile station interprets 

20 the button pressing and starts to set the function mode of the camera 
module 1 . To set the function mode, the control block 25 of the mobile 
station sends the required control commands and parameters to the 
control block 1 1 of the camera module 1 . These control commands 
contain the setting of registers according to predetermined parameters. 

25 For example, a command for taking a picture is set in the sampling 
register 12. In the quality register 13, the conversion accuracy is set for 
the analog/digital conversion of each sample, which may vary 
preferably from 1 to 8 bits in practical applications. In some cases, it 
may also be necessary to use a greater conversion accuracy. In 

30 viewfinder mode, the conversion accuracy is set smaller than in the 
actual photography mode, for example 4 bits instead of 8 bits. As a re- 
sult, the analog/digital conversion converts the sample at an accuracy 
of four most significant bits (MSB), whereby the conversion is also 
faster than when using a greater conversion accuracy. In a converter 

35 based on sequential approximation, reduction of the conversion accu- 
racy to a half means doubling of the conversion rate. With four bits, it is 
possible to present 16 different values, but this is a sufficient accuracy 
in viewfinder mode. Furthermore, an increase in the conversion rate 
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means that in the same time it is possible to transfer the image 
information of several pixels P1,1 — Pm,n, whereby, as a result, the 
image can be updated more often on the display device 27. 

5 Moreover, if desired, it is possible in the pre-processing register 14 to 
set information on whether the image information is to be subjected to a 
conversion, e.g. conversion of colour format. Furthermore, it is possible 
in the pre-processing register 14 to set information on undersampling, 
which means, for instance, that not all results of analog/digital conver- 

10 sion are transferred further but for example every second one, or only 
the value of every other pixel is converted, which will also increase the 
updating rate of image information. Undersampling reduces the resolu- 
tion of the image, but, it is possible, if necessary, in the receiving device 
to form an image corresponding to the original resolution from the 

15 undersampled image, e.g. by interpolation on the basis of the received 
image information. 

Furthermore, information is transferred from the control block 25 of the 
mobile station to the control block 11 of the camera module about the 

20 moment for taking the picture. This command can be transmitted by the 
mobile station 23 for example after the previous image has been proc- 
essed. This applies particularly to non-integrating image sensors. The 
command for taking the picture can also be transmitted in advance, if 
taking the picture requires a longer exposure time, e.g. when an inte- 

25 grating sensor is used. Thus, after the transmission of the command for 
taking the picture, the mobile station 23 has sufficient time for proc- 
essing the image under processing, before the camera module 1 takes 
a new picture, and unnecessary waiting for processing of the image can 
be avoided. 

30 

After the camera module has received the command for taking a pic- 
ture, the control block 11 interprets the command and starts taking the 
picture. The control block 1 1 generates control signals for the line se- 
lector 3 and the column selector 4 to select the pixels P1,1 — Pm,n 
35 preferably in a way that one image is read as quickly as possible to 
eliminate e.g. movement distortions in the image. The pixels are read 
for example in the following way. After receiving the necessary control 
commands and parameters, the control block 11 of the camera module 
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sets preferably the first pixel line of the image sensor 2 for reading, with 
the line selector 3. Next, with the column selector 4, the control 
block 11 selects the first column, whereby the current of this pixel is 
present at the output 5 of the column selector and is transferred to the 
5 sample and hold circuit 6. It may take a certain setting time to make the 
current value constant in the output 5 of the column selector before the 
control block 11 commands the sample and hold circuit 6 to sample this 
current. The setting time is advantageously some tens of nanoseconds. 
After the sample and hold circuit 6 has taken the sample, the control 

10 block 11 commands the analog/digital converter to start an 
analog/digital conversion at a precision determined in the quality 
register 13. The analog/digital converter 7 typically comprises a status 
line or the like, by means of which the control block 1 1 can monitor the 
completion of the analog/digital conversion. After completion of the 

15 analog/digital conversion, the control block 11 transfers the conversion 
result to the pre-processing block 8 and performs pre-processing, if 
necessary. After this, the image information of the pixel is stored in the 
memory 18 of the camera module 1, in a memory space allotted to the 
selected pixel. Next, the control block 11 sets in the column selector 4 

20 information whereby the column selector 4 selects the current of the 
next pixel into the output 5. This current value is subjected to the same 
operations as presented above. After conversion of the pixels in the 
whole line, the control block 11 selects the next line to be converted, 
with the line selector 3. After the whole image field has been scanned, 

25 the image information is stored in the memory 18 and ready to be 
transferred. This transfer can be implemented e.g. in a way that the 
camera module 1 transmits information about the completion of the 
conversion result of the image to the serial bus 10, whereby the control 
block 25 of the mobile station transmits a command to start image 

30 transfer to the control serial bus 16, if the mobile station 23 is ready to 
receive the image information. After this, the control block 1 1 transfers 
the conversion result of the first pixel from the memory 18 to the 
parallel/serial converter 9, where the conversion result is converted into 
serial form and transferred to the serial bus 10. If necessary, it is also 

35 possible at this stage to reduce the quantity of information to be 
transmitted by leaving some of the less significant bits untransferred. 
The control block 25 of the mobile station receives this information and 
conducts serial/parallel conversion on the same, and transfers the 
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information to the memory 26 of the mobile station, to a memory 
location reserved for the selected pixel. Next, the information on the 
second pixel is transferred, and so forth, until the whole image has 
been transferred. 

5 

Next, the control block 25 of the mobile station for example displays the 
image on a display device 27 by transferring the image information from 
the memory 26 to the display device 27, where the image information is 
displayed at a location reserved for it. If the display device 27 is an 
10 analog display device, the image information is further subjected to 
digital/analog conversion before transferring to the display device 27. 

When necessary, it is possible to crop a smaller area (window) from the 
image to be transferred to the mobile station 23. This is conducted 

15 preferably by sending the co-ordinates of two opposite edge points (line 
and column identifications) of the area to be transferred, together with 
information on the desired conversion accuracy and resolution of the 
image. Also in this situation, the camera module takes preferably a full 
picture and stores it in the memory, but only the image information on 

20 the desired area is transmitted to the serial bus 10. 

Furthermore, the invention can be applied in a way that the camera 
module 1 always takes a picture with the maximum resolution and 
conversion accuracy and stores the image in the memory 18. Thus, the 
25 resolution and/or conversion accuracy is reduced at the stage of 
transferring information to the serial bus 10. 

In viewfinder mode, the quantity of image information per image to be 
transferred is smaller than in normal photographic mode; consequently, 

30 images can be updated at a faster rate than when using solutions of 
prior art. Thus, the image is updated faster, and jerky movement cannot 
be noticed to a significant degree. Nevertheless, the final photograph 
can be taken with a higher resolution, whereby the control block of the 
mobile station transmits the required control commands and 

35 parameters to the control block 1 1 of the camera module 1 . Taking a 
picture in this way can be implemented for example so that the user 
presses a predetermined button in the keypad 29 of the mobile station. 
Thus, the camera module 1 conducts conversion of the image at a 
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higher resolution, and after completion of the conversion, the camera 
module 1 transmits the serial bus 10 information about the completion 
of the image, whereby the control block 25 of the mobile station can 
start the transfer of the image information. In this case, the transfer of 
5 the image information takes a longer time than in the viewfinder mode, 
but, on the other hand, it is not significant. 

The camera module 1 of the invention has the further advantage that 
image information can be transferred asynchronously in relation to the 

10 functions of the camera. Thus, the camera module 1 of the invention 
can be controlled in a way that it generates an image of the desired 
type, whereby it is possible, if necessary, to reduce the quantity of im- 
age information to be transferred. In camera modules of prior art, the 
image format and resolution can be changed, but the transfer of image 

15 information takes place at a constant rate determined by the camera 
module, whereby typically either a parallel bus or a fast serial bus is 
needed for transferring the information at a sufficient rate from the 
camera module to further processing stages. 

20 Moreover, the camera module 1 of the invention can also be utilised in 
video recording, whereby each single image consists of a smaller 
quantity of image information than in camera modules of prior art, but 
the updating rate of the images can be raised, whereby a more realistic 
moving image is obtained. Also, pictures taken with the camera 

25 module 1 of the invention can be transmitted via a mobile 
communication network, if necessary. Thus, with reference to the block 
diagram of Fig. 2a/2b, the control block 25 of the mobile station reads 
the images in ways presented above and transfers the image 
information further to a radio element 30, from which the image 

30 information can be transmitted via a mobile communication network 
(not shown) to another mobile station or telecommunication terminal. 
Thus, the image information can be presented in the receiving 
telecommunication terminal. If necessary, the control block 25 of the 
mobile station compresses the image to be transferred to the radio 

35 element, whereby the data transmission can be enhanced in the mobile 
communication network. Because the processing of the image takes 
place primarily already in the camera module 1 , the control block 25 of 
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the mobile station does not need to have such a large processing 
capacity as when camera modules of prior art are used. 

The present invention is not limited solely to the embodiments pre- 
sented above, but it can be modified within the scope of the appended 
claims. 
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Claims: 



1. A method for transferring image information from a camera mod- 
ule (1) to an electronic device, such as a mobile station (23), in which 

5 camera module (1) an image is formed by an image sensor (2) compris- 
ing pixels where the light to which the pixels (P1,1 — Pm,n) are exposed 
is converted into an analog signal which is converted into digital image 
information, characterised in that the image information is transferred 
in serial form and that the transfer of the image information is controlled 
10 from the electronic device (23). 

2. The method according to claim 1 , characterised in that the quan- 
tity of the image information to be transferred from the camera module 
(1) can be adjusted. 

15 

3. The method according to claim 2, characterised in that the ad- 
justment of the quantity of image information to be transferred from the 
camera module (1) is conducted by adjusting the conversion accuracy 
of the analog/digital conversion. 

20 

4. The method according to claim 2 or 3, characterised in that the 
adjustment of the quantity of image information to be transferred from 
the camera module (1) is conducted by adjusting the resolution of the 
image. 

25 

5. The method according to claim 4, characterised in that the ad- 
justment of the resolution of the image is conducted by undersampling 
of the image information. 

30 6. The method according to claim 4 or 5, characterised in that in the 
electronic device (23), the resolution is restored by interpolation from 
the received image information. 

7. A camera module (1) comprising an image sensor (2) with pixels 
35 (P1,1 — Pm,n) for conducting photoelectric conversion, and means (6, 
7) for conversion of the analog signal generated by said pixels into 
digital form, characterised in that the camera module (1) further 
comprises means (10) for transferring digital image information to an 



20 

electronic device, such as a mobile station (23), in serial form, and 
means (11, 16) for conducting the transfer of the image information 
under control by the electronic device (23). 

5 8. The camera module (1) according to claim 7, characterised in 
that it further comprises means (11) for adjusting the quantity of image 
information to be transferred from the camera module (1). 

9. The camera module (1) according to claim 8, characterised in 
10 that said means (11) for adjusting the quantity of image information to 

be transferred from the camera module (1) comprise means (13) for 
adjusting the conversion accuracy of the analog/digital conversion. 

10. The camera module (1) according to claim 8 or 9, characterised 
15 in that said means (11) for adjusting the quantity of image information 

to be transferred from the camera module (1) comprise means (15, 33) 
for adjusting the resolution of the image. 

11. The camera module (1) according to claim 10, characterised in 
20 that said means (33) for adjusting the resolution of the image comprise 

means (12, 13) for undersampling of the image information. 

12. The camera module (1) according to any of the claims 8 to 11, 
characterised in that said means (11) for adjusting the quantity of im- 

25 age information to be transferred from the camera module (1) comprise 
means (15) for undersampling of the image information formed in the 
camera module (1). 

13. A mobile station (23), characterised in that it comprises: 

30 — means (10) for connecting a camera module (1), the camera 
module (1) comprising an image sensor (2) with pixels (P1,1 — 
Pm,n) for conducting a photoelectric conversion, and means (6, 7) 
for converting the analog signal generated by the photoelectric 
conversion means to digital form, and 

35 — means (24, 25) for controlling the transfer of image information 
formed by the camera module (1), and 
— means (24) for transferring the image information formed by the 
camera module (1) to the mobile station (23) in serial form. 
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14. The mobile station (23) according to claim 13, characterised in 
that it further comprises means (11) for adjusting the quantity of image 
information to be transferred from the camera module (1). 
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Abstract 

The invention relates to a method for transferring image information 
from a camera module (1) to an electronic device, such as a mobile 
5 station (23). In the camera module (1), an image is formed by an image 
sensor (2) comprising pixels, where the light to which the pixel (P1,1 — 
Pm,n) is exposed is converted into an analog signal which is converted 
into digital image information. The image information is transferred in 
serial form, and the transfer of the image information is controlled by 
10 the electronic device (23). 
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